arxiv：2401.01814v1 [cs.ai] 2024年1月3日__

arxiv：2401.01814v1 [cs.ai] 2024年1月3日

可下载资源数量

已经购买

下载数量：1

单价	0 1.0
Coupon	100% 0%
Total	0 1.0

点击下载点击购买并下载

点击购买，资源将自动在新窗口打开.

机构名称：

arxiv：2401.01814v1 [cs.ai] 2024年1月3日

¥ 1.0

热度

通过神经元修剪编辑的模型编辑进展，对从大语言模型中删除不良概念的承诺有望。尚不清楚模型是否具有编辑后重新修剪概念的能力。为了调查这一点，我们通过跟踪重新培训的修剪神经元的概念显着性和相似性来评估模型中的重新学习。我们的发现表明，模型可以通过将高级概念重新定位到早期的外行者，并将修剪的概念重新恢复到具有相似语义的启动神经元，从而快速恢复性能。这种恶魔表明，模型表现出多性性的能力，并且可以在单个神经元中融合旧概念和新概念。虽然神经元修剪将可解释性转化为模型概念，但我们的结果突显了永久概念删除以改善模型安全性的挑战。监视概念的重新出现和开发技术以减轻不安全概念的重新学习将是更强大的模型编辑的重要方向。总的来说，我们的工作强烈证明了LLMS概念删除的概念表示的韧性和流动性。

添加pdf代下载 VIP点击下载文件